手把手系列

本次详细部署 k8s、ceph 以及如何使用 ceph 作为 k8s 的外部存储。

主机信息

系统版本

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：k8s-master节点执行

注意：k8s-master节点执行

注意：k8s-master节点执行

注意：所有node节点执行

注意：k8s-master节点执行

国内网络太难了，下载网络插件：https://github.com/projectcalico/calico/releases/download/v3.17.2/release-v3.17.2.tgz

等待一会，查看Pod 和 node 状态

主机信息

系统版本

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：每台主机都需操作

注意：ceph-node01 操作

注意：ceph-node01 操作

执行完成后会生成以下文件

查看配置文件

注意：ceph-node01 /etc/ceph 目录下操作

注意：ceph-node01 /etc/ceph 目录下操作

mgr是为 ceph-dashboard 提供支持服务的，可在某一节点开启即可。

注意：ceph-node01 /etc/ceph 目录下操作

查看磁盘

初始化磁盘

添加osd

查看osd

查看集群

为后期删除 pool 做准备。

ceph 提供了原生的 Dashboard 功能，通过 ceph dashboard 完成对 ceph 存储系统可视化监视

(nautilus版) 需要安装 ceph-mgr-dashboard ，只需在 mgr 节点上安装

在k8s集群中为 Pod资源提供数持久化，大致分为三种解决方案：

使用RBD块存储作为Pod资源数据持久化时，只有集群中某一个Node节点可以挂载一块RBD块存储设备，例如当Node1节点挂载了RBD块设备后，Node1节点中的所有Pod都可以共享这块RBD中的数据，但是其余Node节点都无法挂载这块RBD存储了。

RBD块存储设备无法跨节点使用，只有挂载RBD块存储的Node节点中的Pod资源可以使用，其余节点的Pod资源无法使用。

Ceph集群默认开启了CEPHX的认证，任何存储类型想要是有Ceph作为底层存储，都需要通过用户认证才可以正常使用。

注意：ceph-node01 操作

注意：ceph-node01 操作

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

ceph-common是 ceph 命令包，需要在每个节点安装，否则将无法执行命令对ceph 进行操作。

1. 进入pod中查看挂载的RBD信息

可以看到Pod成功挂载上了RBD块存储，和之前做块设备映射一样，也是将块设备映射成了一块名为/dev/rbd0的裸磁盘，然后挂载到了/data目录中。

2. 在宿主机上查看挂载的rbd信息

为什么会在Pod中看到挂载的RBD块设备映射的磁盘，其实是宿主机将块设备映射的磁盘挂载到了容器的某个路径中，这才导致在Pod里显示的是一块RBD磁盘挂载。

首先查看Pod运行在了哪个Node节点上，然后查看RBD块设备的挂载信息。

3. 当pod资源被删除后观察NOde节点挂载的RBD状态

Pod资源被删除后，Node节点挂载的RBD块设备自动删除。

4. 多个Pod同时使用一个块存储设备会有什么效果

一个块设备映射的磁盘只能被一个节点进行挂载，如果多个Pod资源分布在不同Node节点上，多个Node节点都要挂载这一个块存储映射的磁盘将会报错。

分布在不同节点上的Pod，第一个挂载成功后，第二个将很长时间处于：ContainerCreating 状态 ，查看详细日志：

如果两个Pod同时调度到一个节点上，那么可以同时使用同一块存储设备持久化Pod中的数据，并且Pod可以启动成功。

类似于共享存储的效果

注意：这里清理本章演示的内容，为接下来的章节做准备。

1. 清理k8s集群pod资源

2. 清理 secret

3. 清理ceph块存储及pool

4. 删除认证用户

PV、PVC高级存储在K8S集群中的应用极多，与Volume集成方案类似。

命令解释：创建了一个client.k8s_pv名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1. 将key通过base64加密

2. 将加密后的key存储在 secret资源中

3. 创建 secret 资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

ceph-common是 ceph 命令包，需要在每个节点安装，否则将无法执行命令对ceph 进行操作。

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的RBD块存储设备。

1. 编写资源编排文件

2. 在集群中创建pv和pvc

1. 编写Pod资源编排文件

2. 在集群中创建Pod资源

3. 进入Pod中写入数据

任何类型的存储卷使用RBD的方式都一样，都会在Pod所在宿主机中挂载RBD块设备映射的磁盘，然后挂载到具体的Pod中，无法跨主机

注意：这里清理本章演示的内容，为接下来的章节做准备。

1. 清理k8s集群pod资源

2. 清理 pvc, pv

3. 清理ceph块存储及pool

4. 删除认证用户

ceph-csi 链接：https://github.com/ceph/ceph-csi/tree/devel/deploy

StorageClass资源可以通过客户端根据用户的需求自动创建出PV以及PVC资源。

StorageClass使用Ceph作为底层存储，为用户自动创建出PV以及PVC资源，使用的客户端工具是csi，首先需要在K8S集群中部署csi客户端工具，由csi客户端中驱动去连接Ceph集群。

注意：在部署 ceph-csi 时，需要特别注意版本，ceph-csi所使用的版本依据ceph和k8s版本而定。

本次版本如下：

ceph-csi 下载链接： https://github.com/ceph/ceph-csi/archive/refs/tags/v3.4.0.tar.gz

1. 创建 csi-config-map

2. 创建 csi-kms-config

创建名为“ceph-csi-encryption-kms-config”的ConfigMap，因没有使用KMS，配置内容为空（不能省略，否则后面容器启动会报错）

3. 创建 secret对象，存储访问ceph的 key

执行 csi-rbd-secret.yaml 文件

4. 配置访问Kubernetes API对象的ServiceAccount和RBAC

5. 运行ceph-csi provisoner和节点插件

在执行之前注意，本次是只有三个节点，因此 master 也需参与csi Pod的运行。

去除 k8s-master 污点：

运行ceph-csi provisoner和节点插件

上面两个yaml文件是核心，会生成 Pod运行。

Kubernetes实现按需创建PV，需要创建StorageClass API对象，如下，

查看PV，PVC

ok，用户可直接创建 pvc，而 storageclass会自动提供pv。

经过测试，数据已经持久化存储到 ceph rbd了。

1. 清除 ceph-csi资源

2. 删除pv

3. 清理ceph集群

需要重新安装验证下，是否是配置错误造成 pod 需要去找 ceph配置文件还是本该拷贝到k8s-node节点。

注意：将rbd作为pv 的方式，需要将 ceph 的配置文件及密钥推送到k8s每个节点，否则会出现如下报错信息：

推送ceph配置文件到k8s集群的node节点：

在使用 RBD 时，是无法做到跨节点使用的。在 k8s 中，使用更多的是 deployment 无状态的Pod，随时可能重建并漂移到其他节点。基于这些场景来说，似乎 cephfs 更加适合 k8s。

ceph rbd 仅支持同一个node下多 pod 的挂载，cephfs 支持跨节点的多 pod 挂载，实现共享。

注意：ceph-node01 操作

一个 ceph 文件系统需要至少两个 RADOS 存储池，一个用于存储数据，一个用于存储元数据

注意：ceph-node01 操作

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

注意：ceph-node01 操作

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

ceph-common是 ceph 命令包，需要在每个节点安装，否则将无法执行命令对ceph 进行操作。

​

1. 直接访问Pod

2. 在宿主机上查看挂载的cephfs信息

为什么会在Pod中看到挂载的cephfs，其实是宿主机将目录挂载到了容器的某个路径中

首先查看Pod运行在了哪个Node节点上，然后查看cephfs的挂载信息。

3. 当pod资源被删除后观察Node节点挂载的cephfs状态

Pod资源被删除后，Node节点挂载的RBD块设备自动删除。

4. 多个Pod同时使用一个cephfs会有什么效果

cephfs 支持跨节点的多 pod 挂载，实现共享，这里创建多个 ngx 可实现负载均衡的效果。

注意：这里清理本章演示的内容，为接下来的章节做准备。

1. 清理k8s集群pod资源

2. 清理 secret

3. 清理cephfs及pool

4. 删除认证用户

注意：ceph-node01 操作

一个 ceph 文件系统需要至少两个 RADOS 存储池，一个用于存储数据，一个用于存储元数据

注意：ceph-node01 操作

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

注意：ceph-node01 操作

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

ceph-common是 ceph 命令包，需要在每个节点安装，否则将无法执行命令对ceph 进行操作。

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的cephfs

1. 编写资源编排文件

2. 在集群中创建pv和pvc

1. 编写Pod资源编排文件

2. 在集群中创建Pod资源

3. 直接访问页面

注意：这里清理本章演示的内容，为接下来的章节做准备。

1. 清理k8s集群pod资源

2. 清理 pvc, pv

3. 清理ceph块存储及pool

4. 删除认证用户

注意：ceph-node01 操作

创建存储池

一个 ceph 文件系统需要至少两个 RADOS 存储池，一个用于存储数据，一个用于存储元数据

注意：ceph-node01 操作

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

注意：ceph-node01 操作

ceph-common是 ceph 命令包，需要在每个节点安装，否则将无法执行命令对ceph 进行操作。

ceph-csi 链接：https://github.com/ceph/ceph-csi/tree/devel/deploy

StorageClass资源可以通过客户端根据用户的需求自动创建出PV以及PVC资源。

StorageClass使用Ceph作为底层存储，为用户自动创建出PV以及PVC资源，使用的客户端工具是csi，首先需要在K8S集群中部署csi客户端工具，由csi客户端中驱动去连接Ceph集群。

注意：在部署 ceph-csi 时，需要特别注意版本，ceph-csi所使用的版本依据ceph和k8s版本而定。

本次版本如下：

ceph-csi 下载链接： https://github.com/ceph/ceph-csi/archive/refs/tags/v3.4.0.tar.gz

这里只对三个节点的集群，如果k8s-node节点超过三个不用执行该步骤。因为安装 csi-cephfs需要在三个node节点上调度。

查看启动的Pods是否正常

4.创建密钥

将 cephfs 挂载到本地写入 index.html ，然后通过 Pod 访问

1. 清除 ceph-csi资源

2. 删除pv

3.删除csi

3. 清理ceph集群

ceph集群使用RBD块存储与k8s集群集成：https://juejin.cn/post/7119298577569939469

k8s使用ceph-csi插件的cephfs方式持久化存储：https://blog.csdn.net/HYESC/article/details/128039771